Motion prediction is highly relevant to the perception of dynamic objects and static map elements in the scenarios of autonomous driving. In this work, we propose PIP, the first end-to-end Transformer-based framework which jointly and interactively performs online mapping, object detection and motion prediction. PIP leverages map queries, agent queries and mode queries to encode the instance-wise information of map elements, agents and motion intentions, respectively. Based on the unified query representation, a differentiable multi-task interaction scheme is proposed to exploit the correlation between perception and prediction. Even without human-annotated HD map or agent's historical tracking trajectory as guidance information, PIP realizes end-to-end multi-agent motion prediction and achieves better performance than tracking-based and HD-map-based methods. PIP provides comprehensive high-level information of the driving scene (vectorized static map and dynamic objects with motion information), and contributes to the downstream planning and control. Code and models will be released for facilitating further research.

Learning fine-grained interplay between vision and language allows to a more accurate understanding for VisionLanguage tasks. However, it remains challenging to extract key image regions according to the texts for semantic alignments. Most existing works are either limited by textagnostic and redundant regions obtained with the frozen detectors, or failing to scale further due to its heavy reliance on scarce grounding (gold) data to pre-train detectors. To solve these problems, we propose Self-Locator Aided Network (SLAN) for cross-modal understanding tasks without any extra gold data. SLAN consists of a region filter and a region adaptor to localize regions of interest conditioned on different texts. By aggregating cross-modal information, the region filter selects key regions and the region adaptor updates their coordinates with text guidance. With detailed region-word alignments, SLAN can be easily generalized to many downstream tasks. It achieves fairly competitive results on five cross-modal understanding tasks (e.g., 85.7% and 69.2% on COCO image-to-text and text-to-image retrieval, surpassing previous SOTA methods). SLAN also demonstrates strong zero-shot and fine-tuned transferability to two localization tasks.

While many systems have been developed to train Graph Neural Networks (GNNs), efficient model inference and evaluation remain to be addressed. For instance, using the widely adopted node-wise approach, model evaluation can account for up to 94% of the time in the end-to-end training process due to neighbor explosion, which means that a node accesses its multi-hop neighbors. On the other hand, layer-wise inference avoids the neighbor explosion problem by conducting inference layer by layer such that the nodes only need their one-hop neighbors in each layer. However, implementing layer-wise inference requires substantial engineering efforts because users need to manually decompose a GNN model into layers for computation and split workload into batches to fit into device memory. In this paper, we develop Deep Graph Inference (DGI) -- a system for easy and efficient GNN model inference, which automatically translates the training code of a GNN model for layer-wise execution. DGI is general for various GNN models and different kinds of inference requests, and supports out-of-core execution on large graphs that cannot fit in CPU memory. Experimental results show that DGI consistently outperforms layer-wise inference across different datasets and hardware settings, and the speedup can be over 1,000x.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

对于空中机器人来说，以快速而健壮的方式倒置着陆是一项艰巨的壮举，尤其是完全取决于板载感应和计算。尽管如此，这项壮举通常由蝙蝠，苍蝇和蜜蜂等生物传单进行。我们以前的工作已经确定了一系列板载视觉提示与运动学动作之间的直接因果关系，这些关系允许在小型空中机器人中可靠地执行这种具有挑战性的特技操纵。在这项工作中，我们首先利用深入的强化学习和基于物理的模拟来获得从任何任意方法条件开始的一般最佳控制策略，以实现强大的倒置着陆。这项优化的控制策略提供了从系统的观察空间到其电动机命令动作空间的计算效率映射，包括触发和控制旋转操作。这是通过训练系统在大量和方向变化的大量进式飞行速度上进行训练。接下来，我们通过在仿真中改变了机器人的惯性参数，通过域随机化对学习策略进行了模拟策略的传输和实验验证。通过实验试验，我们确定了几个主要因素，这些因素极大地改善了着陆鲁棒性和确定倒置成功的主要机制。我们希望这项研究中开发的学习框架可以推广以解决更具挑战性的任务，例如利用嘈杂的板载感觉数据，降落在各种方向的表面上或降落在动态移动的表面上。

多年来，Yolo系列一直是有效对象检测的事实上的行业级别标准。尤洛社区（Yolo Community）绝大多数繁荣，以丰富其在众多硬件平台和丰富场景中的使用。在这份技术报告中，我们努力将其限制推向新的水平，以坚定不移的行业应用心态前进。考虑到对真实环境中速度和准确性的多种要求，我们广泛研究了行业或学术界的最新对象检测进步。具体而言，我们从最近的网络设计，培训策略，测试技术，量化和优化方法中大量吸收了思想。最重要的是，我们整合了思想和实践，以在各种规模上建立一套可供部署的网络，以适应多元化的用例。在Yolo作者的慷慨许可下，我们将其命名为Yolov6。我们还向用户和贡献者表示热烈欢迎，以进一步增强。为了了解性能，我们的Yolov6-N在NVIDIA TESLA T4 GPU上以1234 fps的吞吐量在可可数据集上击中35.9％的AP。 Yolov6-S在495 fps处的43.5％AP罢工，在相同规模〜（Yolov5-S，Yolox-S和Ppyoloe-S）上超过其他主流探测器。我们的量化版本的Yolov6-S甚至在869 fps中带来了新的43.3％AP。此外，与其他推理速度相似的检测器相比，Yolov6-m/L的精度性能（即49.5％/52.3％）更好。我们仔细进行了实验以验证每个组件的有效性。我们的代码可在https://github.com/meituan/yolov6上提供。

在多人2D姿势估计中，自下而上的方法同时预测了所有人的姿势，与自上而下的方法不同，不依赖于人类的检测。但是，与现有的自上而下方法相比，SOTA自下而上的方法的精度仍然不如较低。这是由于预测的人类姿势是根据不一致的人类边界箱中心进行回归的，并且缺乏人类规范的正常化，从而导致预测的人类姿势被遗漏了不准确和小规模的人。为了推动自下而上的姿势估计的信封，我们首先提出了多尺度训练，以增强网络以通过单尺度测试来处理规模变化，尤其是对于小规模的人。其次，我们介绍了双解剖中心（即头部和身体），在这里我们可以更准确，可靠地预测人类的姿势，尤其是对于小规模的人。此外，现有的自下而上方法采用多尺度测试来以多个额外的前向通行证的价格提高姿势估计的准确性，这削弱了自下而上方法的效率，与自上而下的方法相比，核心强度。相比之下，我们的多尺度训练使该模型能够预测单个前向通行证（即单尺度测试）中的高质量姿势。我们的方法在边界框的精度方面取得了38.4 \％的改进，在边界框上进行了39.1 \％的改进，以对可可的具有挑战性的小规模人群进行对现状（SOTA）的回忆（SOTA）。对于人类姿势AP评估，我们在带有单尺度测试的可可测试-DEV集中实现了新的SOTA（71.0 AP）。我们还在跨数据库评估中在Ochuman数据集上实现了最高的性能（40.3 AP）。

尽管发展了排名优化技术，但点式模型仍然是点击率（CTR）预测的主导方法。它可以归因于点式模型的校准能力，因为可以将预测视为点击概率。在实践中，通常还以排名能力来评估CTR预测模型，基于排名损失（例如，成对或列表损失）的预测模型通常比点置损失更好。先前的研究已经实验了两种损失的直接组合，以从损失中获得收益并观察到改善的性能。但是，先前的研究将输出logit的含义作为点击率，这可能会导致次优的解决方案。为了解决这个问题，我们提出了一种可以共同优化排名和校准能力的方法（简称JRC）。 JRC通过将样品的logit值与不同的标签进行对比，并约束预测概率是logit减法的函数，从而提高了排名能力。我们进一步表明JRC巩固了对逻辑的解释，其中逻辑在其中建模关节分布。通过这样的解释，我们证明JRC近似优化了上下文化的混合歧视生成目标。公共和工业数据集以及在线A/B测试的实验表明，我们的方法提高了排名和校准能力。自2022年5月以来，JRC已被部署在阿里巴巴的展示广告平台上，并获得了显着改进的绩效。

在非洲使用的2,000多种语言几乎都没有广泛可用的自动语音识别系统，并且所需的数据也仅适用于几种语言。我们已经尝试了两种技术，这些技术可能为非洲语言提供大型词汇识别的途径：多语言建模和自我监督学习。我们收集了可用的开源数据并收集了15种语言的数据，并使用这些技术训练了实验模型。我们的结果表明，汇总多语言端到端模型中可用的少量数据，并预先培训无监督的数据可以帮助提高许多非洲语言的语音识别质量。

稀疏奖励学习通常在加强学习（RL）方面效率低下。 Hindsight Experience重播（她）已显示出一种有效的解决方案，可以处理低样本效率，这是由于目标重新标记而导致的稀疏奖励效率。但是，她仍然有一个隐含的虚拟阳性稀疏奖励问题，这是由于实现目标而引起的，尤其是对于机器人操纵任务而言。为了解决这个问题，我们提出了一种新型的无模型连续RL算法，称为Relay-HER（RHER）。提出的方法首先分解并重新布置原始的长马任务，以增量复杂性为新的子任务。随后，多任务网络旨在以复杂性的上升顺序学习子任务。为了解决虚拟阳性的稀疏奖励问题，我们提出了一种随机混合的探索策略（RME），在该策略中，在复杂性较低的人的指导下，较高复杂性的子任务的实现目标很快就会改变。实验结果表明，在五个典型的机器人操纵任务中，与香草盖相比，RHER样品效率的显着提高，包括Push，Pickandplace，抽屉，插入物和InstaclePush。提出的RHER方法还应用于从头开始的物理机器人上的接触式推送任务，成功率仅使用250集达到10/10。